package com.ada.spark.rddoperator

import org.apache.spark.rdd.RDD
import org.apache.spark.{SparkConf, SparkContext}

/**
  * 作用：将每一个分区形成一个数组，形成新的RDD类型时RDD[Array[T]]
  */
object Spark06_glom {

    def main(args: Array[String]): Unit = {
        //创建SparkConf
        val conf = new SparkConf().setAppName("Spark06_glom").setMaster("local[*]")
        //创建Spark上下文对象
        val sc = new SparkContext(conf)

        val listRDD: RDD[Int] = sc.makeRDD(1 to 15, 4)

        //将一个分区的数据放到数组中
        val glomRDD: RDD[Array[Int]] = listRDD.glom()

        glomRDD.collect().foreach(datas => {
            println(datas.mkString(","))
        })
        /*
        1,2,3
        4,5,6,7
        8,9,10,11
        12,13,14,15
        */
    }

}
